El modelo de caché semántico ModelCache de código abierto para el modelo de código grande CodeFuse de Ant Group. La arquitectura de ModelCache incluye los módulos adapter, embedding, similarity y data_manager. ModelCache puede reducir el costo de inferencia de las aplicaciones de modelos grandes y mejorar la experiencia del usuario. Con un acierto en la caché, el tiempo medio de respuesta se puede reducir en un factor de 10, con una aceleración de hasta el 14,5%. ModelCache continuará optimizando su rendimiento y precisión.